Ngày 24 tháng 11 năm 1960, thông qua Sắc chỉ "Chư huynh đáng kính" (Venerabilium Nostroum), Giáo hoàng Gioan XXIII đã thiết lập "Hàng Giáo phẩm Công giáo Việt Nam" gồm 3 giáo tỉnh: Hà Nội, Huế, Sài Gòn.[1] Ngày 8 tháng 12 năm 1960, sắc chỉ được công bố. Mặc dù bấy giờ vẫn còn nhiều Giám mục nước ngoài làm mục vụ tại Việt Nam, thế nhưng sắc chỉ này được xem là bước ngoặt để hình thành hội đồng các Giám mục điều hành hoạt động Giáo hội Công giáo tại Việt Nam.[2]

Sau khi chiến tranh Việt Nam chấm dứt năm 1975, hoàn cảnh mới của nước Việt Nam đưa đến một nhu cầu mới cho Giáo hội Việt Nam và phù hợp với ước vọng chung của các giám mục Việt Nam đương thời. Mong muốn của họ là được thành lập Hội đồng Giám mục của nước Việt Nam thống nhất. Sự thành lập Hội đồng Giám mục Việt Nam đã bắt đầu được nhen nhóm từ năm 1976 trong dịp Tổng giám mục Giuse Maria Trịnh Như Khuê đi Roma nhận chức Hồng y trở về.[3]